- 综合排序
- 最热优先
- 最新优先
- 来自专栏机器之心
被GPT带飞的In-Context Learning发展现状如何？这篇综述梳理明白了
机器之心报道 编辑：小舟 来自北京大学、上海 AI Lab 和加州大学圣巴巴拉分校的十位研究者近期发布了一篇关于 in-context learning 的综述论文。 近来一些研究表明，LLM 可以使用 in-context learning（ICL）执行一系列复杂任务，例如解决数学推理问题。 来自北京大学、上海 AI Lab 和加州大学圣巴巴拉分校的十位研究者近期发布了一篇关于 in-context learning 的综述论文，详细梳理了 ICL 研究的当前进展。 第二，in-context learning 类似于人类通过类比学习的决策过程。第三，与监督式训练相比，ICL 是一个无需训练的学习框架。 尽管这些模型并没有专门针对 in-context learning 进行优化，但 ICL 的能力依旧令人惊喜。现有的 ICL 研究基本以训练良好的语言模型为主干。
1.2K20编辑于 2023-03-29 - 来自专栏机器之心
7 Papers & Radios | 无需注意力的预训练；被GPT带飞的In-Context Learning
机器之心 & ArXiv Weekly 参与：杜伟、楚航、罗若天 本周重要论文包括当预训练不需要注意力时，扩展到 4096 个 token 也不成问题；被 GPT 带飞的 In-Context Learning 论文 6：Why Can GPT Learn In-Context? Learning（ICL）在大型预训练语言模型上取得了巨大的成功，但其工作机制仍然是一个悬而未决的问题。 推荐：被 GPT 带飞的 In-Context Learning 为什么起作用？模型在秘密执行梯度下降。 The Impact of Symbolic Representations on In-context Learning for Few-shot Reasoning.
76620编辑于 2023-03-29 - 来自专栏机器之心
被GPT带飞的In-Context Learning为什么起作用？模型在秘密执行梯度下降
机器之心报道 编辑：陈萍 In-Context Learning（ICL）在大型预训练语言模型上取得了巨大的成功，但其工作机制仍然是一个悬而未决的问题。 作为大模型的开路先锋，大型预训练语言模型，特别是 GPT-3 已经显示出令人惊讶的 ICL（In-Context Learning）能力。 如下图所示，ICL 包含三种分类：Few-shot learning，允许输入数条示例和一则任务说明；One-shot learning，只允许输入一条示例和一则任务说明；Zero-shot learning GPT-3 in-context learning 实验证明在 Few-shot 下 GPT-3 有很好的表现： 为什么 GPT 可以在 In-Context 中学习？ 该研究同时提供了经验性证据来证明 In-Context Learning 和显式微调在多个层面上表现相似。」
79830编辑于 2023-03-29 - 来自专栏机器之心
把Transformer当通用计算机用，还能执行in-context learning算法，这项研究脑洞大开
模拟基本计算器、基本线性代数库和使用反向传播的 in-context learning 算法都可以。 Transformer 已成为各种机器学习任务的热门选择，并且取得了很好的效果，那它还能怎么用？ 他们展示了这个 transformer 如何在其输入的指导下模拟一个基本的计算器、一个基本的线性代数库和使用反向传播的 in-context learning 算法。 有趣的是，这些大型语言模型 (LLM) 中的一些还可以执行 in-context learning (ICL) ，根据简短 prompt 和一些示例即时适应和执行特定任务。
1.1K20编辑于 2023-02-23 - 来自专栏数据派THU
把Transformer当通用计算机用，还能执行in-context learning算法，这项研究脑洞大开
模拟基本计算器、基本线性代数库和使用反向传播的 in-context learning 算法都可以。 Transformer 已成为各种机器学习任务的热门选择，并且取得了很好的效果，那它还能怎么用？ 他们展示了这个 transformer 如何在其输入的指导下模拟一个基本的计算器、一个基本的线性代数库和使用反向传播的 in-context learning 算法。 有趣的是，这些大型语言模型 (LLM) 中的一些还可以执行 in-context learning (ICL) ，根据简短 prompt 和一些示例即时适应和执行特定任务。
95010编辑于 2023-03-29 - 来自专栏NLP/KG
揭秘In-Context Learning(ICL)：大型语言模型如何通过上下文学习实现少样本高效推理
揭秘In-Context Learning(ICL)：大型语言模型如何通过上下文学习实现少样本高效推理[示例设计、ICL机制详解] 自GPT-3首次提出了In-Context Learning(ICL) ICL，即In-Context Learning，是一种让大型语言模型（LLMs）通过少量标注样本在特定任务上进行学习的方法。 《Learning To Retrieve Prompts for In-Context Learning》 作者认为demostrations的好坏，不应该由人来决定，而应该由模型来判定。 4.总结 对于In-Context Learning而言，demonstrations的选择、格式、以及排序，都会对测试样本的效果产生影响。 In-Context Learning Active Example Selection for In-Context Learning Self-generated in-context learning
4.9K10编辑于 2024-06-15 - 来自专栏信数据得永生
【GPT总结】Why Can GPT Learn In-Context?
他们指出感知头部推动了in-context learning的能力。 他们还展示了使用in-context learning目标训练的模型往往与通过显式学习算法计算的模型的行为相匹配。 这些方法都在研究in-context learning的学习算法和机制，但我们是第一个在真实场景中解释in-context learning的研究。 我们分析了现成的GPT模型中的in-context learning，而不是通过ICL目标从头开始训练的模型；我们的实验基于真实的NLP任务，而不是像线性回归这样的玩具任务。 利用已有网络的方法： 论文中利用了预训练的GPT模型，通过在输入中添加演示示例，然后通过注意力机制来调整模型的行为，实现了在分类任务上的In-Context Learning。
37810编辑于 2024-03-20 - 来自专栏111222444
测试发文
受启发于gpt3出现之后提出的in-context learning（固定语言模型参数），因此，prefix-tuning致力于如何不改变语言模型参数的方式，增加一些任务相关的（task-specific 受启发于gpt3出现之后提出的in-context learning（固定语言模型参数），因此，prefix-tuning致力于如何不改变语言模型参数的方式，增加一些任务相关的（task-specific 受启发于gpt3出现之后提出的in-context learning（固定语言模型参数），因此，prefix-tuning致力于如何不改变语言模型参数的方式，增加一些任务相关的（task-specific 受启发于gpt3出现之后提出的in-context learning（固定语言模型参数），因此，prefix-tuning致力于如何不改变语言模型参数的方式，增加一些任务相关的（task-specific 受启发于gpt3出现之后提出的in-context learning（固定语言模型参数），因此，prefix-tuning致力于如何不改变语言模型参数的方式，增加一些任务相关的（task-specific
7900编辑于 2022-05-19 - 来自专栏彩铅的随笔博客
Hands on Reinforcement Learning 15 Imitation Learning
模仿学习（imitation learning）研究的便是这一类问题，在模仿学习的框架下，专家能够提供一系列状态动作对{(st,at)}\{(s_t,a_t)\}{(st,at)}，表示专家在环境sts_tst 3 类： 行为克隆（behavior cloning，BC） 逆强化学习（inverse RL） 生成式对抗模仿学习（generative adversarial imitation learning 15.3 生成式对抗模仿学习 生成式对抗模仿学习（generative adversarial imitation learning，GAIL）是 2016 年由斯坦福大学研究团队提出的基于生成式对抗网络的模仿学习
66750编辑于 2023-04-24 - 来自专栏NLP/KG
大语言模型的预训练：语境学习、上下文学习In-Context Learning：精调LLM、Prompt设计和打分函数设计以及ICL底层机制等原理详解
严格来讲，如果将 in-context learning 中的若干示例的演示视作精选的 prompt 的话，可以视为提示学习中的一小部分。 * In-context learning **允许用户为新用例快速构建模型，而无需为每个任务微调和存储新参数**。 缺乏对 in-context learning 的理论和实验分析。In-context learning 到底学到的是什么，又是怎么学到的。 应用受限。 In-Context Learning只对大模型有效 在训练阶段，可以通过自监督的In-Context Learning训练优化模型效果，从而让模型具备更好的通用能力。 In-Context Learning类似于人类的类比学习的决策过程，举一反三。
8.2K41编辑于 2023-07-19 - 来自专栏AI SPPECH
41_涌现能力：从zero-shot到in-context学习
本文将深入探讨大语言模型的涌现能力，特别聚焦于从zero-shot学习到in-context learning的演进过程，分析这些能力背后的机制原理，并探讨2025年这一领域的最新研究进展和应用前景。 ： 3.2.1 单样本学习（One-shot Learning） 在提示中提供一个已完成的示例，帮助模型理解任务要求。 3.2.3 多样本学习（Many-shot Learning） 2025年的最新研究提出了多样本学习的概念，指在提示中提供大量示例（数十个甚至上百个）。 参考 MachineLearningLM: Scaling Many-Shot In-Context Learning via Continued Pretraining. 2025. arXiv平台. CSDN博客 大模型学习范式之——语境学习(In-context learning). 2025. 360doc 大模型训练全解析:预训练、微调、强化学习，一步到位!. 2025.
34510编辑于 2025-11-16 - 来自专栏刘笑江的专栏
Reinforce Learning
有模型学习 Markov Decision Process Q-learning 可用于推荐系统 [0.1] 免模型学习 现实世界中，环境的转移概率、奖赏函数往往难以得知，甚至很难知道环境中一共有多少状态
78360发布于 2018-05-28 - 来自专栏mathor
Transfer Learning
model, test_loader) print('test_acc:', test_acc) if __name__ == '__main__': main() Transfer Learning 那我们能不能用ImageNet的一些train好的模型，拿来帮助我们解决一下特定的图片分类任务，这就是Transfer Learning，也就是在A任务上train好一个分类器，再transfer到B上去 我个人理解Transfer Learning的作用是这样的，我们都知道神经网络初始化参数非常重要，有时候初始化不好，可能就会导致最终效果非常差。 相当于帮你做了一个很好的初始化，你在这个网络的基础上，去做B任务，如果这两个任务比较接近的话，夸张一点说，这个网络的训练可能就只需要微调一下，就能在B任务上显示出非常好的效果 下图展示的是一个真实的Transfer Learning 把除了最后一层以外的所有层都取出来，保存在list中，然后用*将其list展开，之后接一个我们自定义的Flatten层，作用是将output打平，打平以后才能送到Linear层去 上面几行代码就实现了Transfer Learning
62410发布于 2020-02-17 - 来自专栏刘笑江的专栏
Deep Learning
LeNet-5 Gradient-based learning applied to document recognition Yan LeCun, 1998 LeNet AlexNet 12’ ImageNet 2014 ImageNet top-5 error 6.7% Inception, network in network Inception GoogLeNet ResNet Deep Residual Learning Transfer Learning Segmentation end-to-end: 输入图片（smaller），输出标注图片 multi-scale approach: Farable et al. A survey on transfer learning[J]. Learning phrase representations using RNN encoder-decoder for statistical machine translation[J]. arXiv
1.2K30发布于 2018-05-28 - 来自专栏光城(guangcity)
Feasibility of Learning
Feasibility of Learning 0.说在前面 1.Learning is Impossible 2.Probablity to the Rescue 3.Connection to Learning 4.Connection to Real Learning 5.作者的话 0.说在前面 前面几节主要介绍了机器学习的分类以及相关的二元分类问题及算法。 1.Learning is Impossible ? 数据图 在本节中，林老师给出了如上图所示的例子：输入特征x是二进制的、三维的，对用有8种输入，其中训练样本D有5个。 3.Connection to Learning 【迁移】 ? 迁移图 我们将上述罐子抽球思想迁移到机器学习上来。 4.Connection to Real Learning 【ML上的Hoeffding's inequality】 上述主要讲固定h情况下，当h很多的情况下，又应该怎么做?
53140发布于 2019-09-20 - 来自专栏CreateAMind
Represent learning
? ? ? ? ? ? ? ? ? ? ?
65340发布于 2019-07-10 - 来自专栏DPDK VPP源码分析
learning： arping
下面来学习一下基本的使用，和查询arp缓存表情况： 1、在vpp1上发送免费arp，在vpp2上并不会生产arp表 learning_vpp1# arping gratuitous 192.168.100.1 learning_vpp2# show ip neighbors GigabitEthernet13/0/0 2、在vpp1上发送arp，双方都会生成arp表 learning_vpp1# arping # set interface mac address GigabitEthernet13/0/0 00:0c:29:aa:cc:bb learning_vpp1# arping gratuitous 2、免费arp场景 learning_vpp# arping gratuitous 192.168.100.1 GigabitEthernet13/0/0 repeat 1 Sending 1 GARP to 192.168.100.1 vpp2收到后，进行处理后丢弃 learning_vpp# show trace ------------------- Start of thread 0 vpp_main
1.5K20编辑于 2023-03-07 - 来自专栏深度学习自然语言处理
探索无监督域自适应，释放语言模型的力量：基于检索增强的情境学习实现知识迁移
近年来，随着大规模预训练语言模型的出现，情境学习（In-Context Learning） 作为一种新兴的学习方法，已经在各种NLP任务中取得了显著的成果。 本文旨在探讨如何在无监督域自适应场景下，通过检索增强的情境学习（Retrieval-Augmented In-Context Learning） 实现知识迁移。 具体来说，作者提出了一种名为Domain Adaptive In-Context Learning (DAICL) 的框架，该框架通过检索目标域的相似示例作为上下文，帮助模型学习目标域的分布和任务特征。 在实验中，将不同的LLMs架构与提出的In-Context Learning方法进行对比，并评估其在领域适应中的性能。对于评估指标，NER任务使用了F1分数，SA任务使用了准确率acc。 总结 本文提出了一种名为Domain Adaptive In-Context Learning (DAICL)的框架，用于实现无监督域自适应（UDA）。
1.3K10编辑于 2023-12-05 - 来自专栏从流域到海域
Planning and Learning
Dyna-Q: Integrating Planning, Acting, and Learning 如果能有完美的环境模型，就可以使用类似动态规划那样的planning方法来更快更好地收敛Q，但是实际上由于各种各样的原因
46610发布于 2019-11-12 - 来自专栏算法与数据之美
Ensemble Learning
集成学习(ensemble [ɒnˈsɒmbl] learning)通过构建并结合多个学习器来完成任务，有时也被称为多分类器系统(multi-classifier system)。
54910发布于 2020-01-17
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号